Pahor sinh ra ở Postojna, Cộng hòa Xã hội chủ nghĩa Slovenia (thuộc Nam Tư cũ) và đã trải qua thời thơ ấu tại thị trấn Nova Gorica trên biên giới với Ý[1], trước khi chuyển đến thị trấn gần đó Šempeter pri Gorici. Ông đã học tại trường phổ thông trung học Nova Gorica, và vào năm 1983 ông theo học trường Đại học Ljubljana, nơi ông nghiên cứu chính sách công và khoa học chính trị tại Khoa Khoa học Xã hội học chính trị và Báo chí (nay được gọi là Khoa Khoa học Xã hội). Ông tốt nghiệp vào năm 1987 với một luận án về các cuộc đàm phán hòa bình giữa các thành viên của Phong trào không liên kết. Luận văn cử nhân đã được trao giải thưởng Preseren sinh viên, giải thưởng học tập cao nhất dành cho sinh viên trong Slovenia. Theo báo chí Slovenia, Pahor đã làm người mẫu nam để kiếm tiền trang trải cho việc học đại học của mình[2].